SF33733
2 jours
Formation Airflow.
Déployez automatiquement vos projets data grâce à notre formation Airflow !
La formation sur Airflow est conçue pour aider les participants à maîtriser les concepts clés et les fonctionnalités de ce puissant système de gestion de workflow. Les participants apprendront à utiliser Airflow pour créer, planifier et surveiller des workflows efficacement, en utilisant des techniques simples et intuitives. La formation couvre également les concepts fondamentaux de la gestion de workflow, tels que la dépendance entre les tâches et la gestion des erreurs, ce qui permettra aux participants de tirer le meilleur parti d'Airflow pour gérer leurs processus complexes. La formation est conçue pour offrir une expérience pratique, avec des activités et des démonstrations qui permettront aux participants de mettre en pratique les connaissances acquises au fil de la formation. En fin de compte, cette formation est un excellent moyen de se familiariser avec Airflow et de développer les compétences nécessaires pour utiliser efficacement ce système de gestion de workflow dans un environnement professionnel.
Programme de formation Airflow.
PDFIntroduction à la formation Airflow
Qu’est-ce que Airflow
Pourquoi utiliser Airflow
Applications courantes d’Airflow
Principaux avantages et inconvénients d’Airflow
Architecture d’Airflow et composants clés
Les composants clés d’Airflow : DAG, tâches, opérateurs, workflows, etc.
L’architecture d’Airflow : webserver, scheduler, executors, etc.
Explication des relations entre les différents composants
Exemples d’utilisation de chaque composant
Configuration et installation d’Airflow
Prérequis pour installer Airflow
Procédure d’installation d’Airflow
Configuration de l’environnement d’exécution d’Airflow
Démarrage et vérification du bon fonctionnement d’Airflow
Présentation de l’interface utilisateur d’Airflow
Navigation dans l’interface utilisateur d’Airflow
Affichage des DAGs et de leur statut
Vérification de l’historique de l’exécution des workflows
Gestion des erreurs et des tâches manquantes
Utilisation de la console de commande d’Airflow
Création de DAG et définition de ses tâches
Création d’un nouveau DAG
Définition des tâches et de leur ordre d’exécution
Utilisation des différents types d’opérateurs disponibles (BashOperator, PythonOperator, etc.)
Paramétrage des tâches (arguments, retours, etc.)
Enregistrement et activation du DAG
Utilisation des opérateurs courants
Les différents types d’opérateurs disponibles
Utilisation des opérateurs les plus couramment utilisés (BashOperator, PythonOperator, etc.)
Exemples concrets d’utilisation de ces opérateurs
Paramétrage des opérateurs pour les adapter à vos besoins
Gestion des dépendances entre tâches
Définition des dépendances entre les tâches
Utilisation des différents types de dépendances (upstream, downstream, etc.)
Résolution des dépendances et planification des tâches
Prise en compte des erreurs et des tâches manquantes dans les dépendances
Planification et exécution des workflows
Définition de la planification des workflows (heure de départ, fréquence, etc.)
Exécution manuelle ou automatique des workflows
Gestion des erreurs et des tâches manquantes
Suivi de l’exécution et modification des workflows en cours d’exécution
Gestion des variables d’environnement et des connexions
Utilisation des variables d’environnement pour paramétrer les tâches
Gestion des connexions aux bases de données et aux services externes
Création, modification et suppression des connexions
Sécurisation des informations sensibles (mots de passe, clés API, etc.)
Personnalisation des workflows avec les hooks et les macros
Utilisation des hooks pour personnaliser les tâches (pré/post-tâche)
Utilisation des macros pour réutiliser du code et des variables
Création, modification et suppression des hooks et des macros
Exemples concrets d’utilisation des hooks et des macros
Monitoring
Monitoring des workflows en temps réel
Configuration des alertes pour les erreurs et les tâches manquantes
Utilisation de l’interface utilisateur pour visualiser les alertes
Envoi d’alertes par email, SMS, notifications push, etc.
Conclusion et perspectives
Récapitulation des principaux points de la formation
Présentation des perspectives d’utilisation d’Airflow
Discussion sur les évolutions futures d’Airflow
Réponse aux questions et présentation de ressources supplémentaires
Nos autres formations en Big Data .
Formation Airflow
Formation Apache Kafka
Formation Apache NiFi
Formation Bases de données NoSQL : introduction, enjeux et panorama des solutions
Formation Big Data – Sécurité des données
Formation Big Data : état de l’art
A travers sa Charte Engagement Qualité, Sparks s’engage à tout mettre en œuvre pour que chaque session de formation soit un succès et que votre satisfaction soit totale.
En apprendre davantage sur Airflow.
Airflow est un système open source de gestion de workflow qui aide les entreprises à automatiser, planifier et surveiller les processus de traitement de données complexes. Il offre une plateforme flexible et scalable pour définir, exécuter et surveiller les workflows de manière cohérente et fiable. Airflow gère les dépendances entre les tâches et permet la gestion des erreurs, ce qui en fait un choix populaire pour les équipes qui travaillent avec des processus complexes et des pipelines de données de longue durée. La plateforme est écrite en Python, ce qui la rend facile à utiliser pour les développeurs et les ingénieurs. En outre, Airflow prend en charge une grande variété de connecteurs pour différents systèmes et technologies, ce qui en fait un choix idéal pour les entreprises qui cherchent à centraliser et à automatiser leurs processus de traitement de données. En résumé, Airflow est une plateforme puissante et flexible pour la gestion de workflow qui peut aider les entreprises à améliorer l’efficacité et la fiabilité de leurs processus de traitement de données.
